Guía de Estudio: Procesamiento de Lenguaje Natural (NLP)

1. Nivel Léxico

   Se centra en las unidades básicas: las palabras o tokens. Incluye la creación de un diccionario (vocabulario), la identificación de palabras válidas, símbolos, signos de puntuación, espacios, etc. Es el punto de partida para análisis más complejos (ej. "Bag-of-Words").

2. Nivel Morfológico

   Estudia la estructura interna de las palabras y cómo se forman. Implica identificar la raíz (lema) de una palabra y sus afijos (prefijos, sufijos). Ejemplo: de "gato", "gata", "gatos", "gatas", la raíz es "gat-". Esto ayuda a agrupar palabras relacionadas.

3. Nivel Sintáctico

   Analiza la estructura gramatical de las oraciones. Se enfoca en cómo se combinan las palabras para formar frases válidas (relación sujeto-verbo-predicado, modificadores, etc.). Estudia la jerarquía y dependencia entre palabras, a menudo representado mediante árboles sintácticos.

4. Nivel Semántico

   Busca extraer el significado de las palabras, frases y el texto en su conjunto. Es el nivel más complejo, ya que implica comprender el contexto, desambiguar significados y entender la intención detrás del lenguaje.

Modelos Fundamentales

• Turing Test: Método propuesto por Alan Turing para determinar si una máquina puede "pensar" evaluando su capacidad para mantener una conversación indistinguible de la de un humano.
• Corpus: Colección grande y estructurada de textos utilizada para análisis lingüístico y entrenamiento de modelos (ej. Brown Corpus).
• ELIZA: Programa pionero que simulaba conversación mediante emparejamiento de patrones y sustitución de texto.
• SHRDLU: Sistema temprano de comprensión del lenguaje natural que operaba en un mundo virtual de bloques.

Arquitecturas de Redes Neuronales

• Redes Neuronales Convolucionales (CNN): Tipo de red neuronal profunda, inicialmente exitosa en visión computacional, también aplicada en NLP.
• Redes Neuronales Recurrentes (RNN): Redes diseñadas para procesar secuencias como texto. Ideas desde los 80s/90s.
• LSTM (Long Short-Term Memory): Tipo avanzado de RNN (propuesto en 1997) capaz de manejar dependencias a largo plazo en secuencias. Clave para el reconocimiento de voz (~2015).
• Modelos Ocultos de Markov (HMM): Modelos probabilísticos para secuencias, usados en combinación con redes neuronales en los 2000s.

Técnicas Avanzadas

• Word Embeddings: Representaciones vectoriales densas de palabras que capturan relaciones semánticas (trabajo pionero de Bengio/Hinton ~2000).
• Sequence-to-Sequence (Seq2Seq): Arquitectura con un codificador (Encoder) que procesa la entrada y un decodificador (Decoder) que genera la salida, utilizada para traducción, resumen, etc. (2014).
• Attention Mechanism: Técnica que permite al modelo ponderar la importancia de diferentes partes de la secuencia de entrada al generar cada parte de la salida (2016).
• Transformer: Arquitectura de red neuronal (2017) basada completamente en mecanismos de atención, muy eficiente para procesar secuencias y base de la mayoría de los LLMs modernos.

Modelos Modernos

• BERT (Bidirectional Encoder Representations from Transformers): Modelo de lenguaje pre-entrenado (Google, 2018) basado en Transformers que aprende representaciones contextuales profundas del lenguaje.
• Grandes Modelos de Lenguaje (LLMs): Modelos Transformer con miles de millones de parámetros, pre-entrenados en cantidades masivas de texto, capaces de realizar una amplia gama de tareas de NLP (ej. ChatGPT, Bard).